<!DOCTYPE HTML>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8" />
    <meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1" />
    <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1" /> 
    <title> - 天地维杰网</title>
    <meta name="keywords" content="系统架构,shutdown,不与天斗,Domino,博客,程序员,架构师,笔记,技术,分享,java,Redis">
    
    <meta property="og:title" content="">
    <meta property="og:site_name" content="天地维杰网">
    <meta property="og:image" content="/img/author.jpg"> 
    <meta name="title" content=" - 天地维杰网" />
    <meta name="description" content="天地维杰网 | 博客 | 软件 | 架构 | Java "> 
    <link rel="shortcut icon" href="http://www.shutdown.cn/img/favicon.ico" />
    <link rel="apple-touch-icon" href="http://www.shutdown.cn/img/apple-touch-icon.png" />
    <link rel="apple-touch-icon-precomposed" href="http://www.shutdown.cn/img/apple-touch-icon.png" />
    <link href="http://www.shutdown.cn/js/vendor/font-awesome/css/font-awesome.min.css?v=4.6.2" rel="stylesheet" type="text/css" />
    <link href="http://www.shutdown.cn/js/vendor/fancybox/jquery.fancybox.css?v=2.1.5" rel="stylesheet" type="text/css" />
    <link href="http://www.shutdown.cn/css/main.css" rel="stylesheet" type="text/css" />
    <link href="http://www.shutdown.cn/css/syntax.css" rel="stylesheet" type="text/css" />
    <script type="text/javascript" id="hexo.configuration">
  var NexT = window.NexT || {};
  var CONFIG = {
    scheme: 'Pisces',
    sidebar: {"position":"left","display":"post"},
     fancybox: true, 
    motion: true
  };
</script>
<script async src="https://pagead2.googlesyndication.com/pagead/js/adsbygoogle.js?client=ca-pub-7826003325059020" crossorigin="anonymous"></script>
</head>
<body itemscope itemtype="http://schema.org/WebPage" lang="zh-Hans">
<div class="container one-collumn sidebar-position-left page-home  ">
    <div class="headband"></div>

    <header id="header" class="header" itemscope itemtype="http://schema.org/WPHeader">
      <div class="header-inner"> <div class="site-meta  custom-logo ">

  <div class="custom-logo-site-title">
    <a href="http://www.shutdown.cn"  class="brand" rel="start">
      <span class="logo-line-before"><i></i></span>
      <span class="site-title">天地维杰网</span>
      <span class="logo-line-after"><i></i></span>
    </a>
  </div>
  <p class="site-subtitle">人如秋鸿来有信，事若春梦了无痕</p>
</div>

<div class="site-nav-toggle">
  <button>
    <span class="btn-bar"></span>
    <span class="btn-bar"></span>
    <span class="btn-bar"></span>
  </button>
</div>

<nav class="site-nav">
    <ul id="menu" class="menu">
      
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-home"></i> <br />首页
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/categories/redis/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-battery-full"></i> <br />Redis
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/categories/java/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-coffee"></i> <br />java
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/categories/linux/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-linux"></i> <br />linux
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/categories/daily/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-bug"></i> <br />日常问题
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/categories/spring/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-child"></i> <br />Spring和Springboot
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/categories/mac/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-fire"></i> <br />Mac相关
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/categories/middleware/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-gavel"></i> <br />中间件
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/categories/jiagou/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-rocket"></i> <br />架构
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/categories/python/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-ship"></i> <br />python
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/categories/front/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-bolt"></i> <br />前端
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/categories/jvm/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-balance-scale"></i> <br />jvm
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/categories/c/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-battery-empty"></i> <br />c语言
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/categories/web3/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-web3"></i> <br />web3
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/post/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-archive"></i> <br />归档
          </a>
        </li>
      
        <li class="menu-item ">
          <a href="http://www.shutdown.cn/about/" rel="section">
              <i class="menu-item-icon fa fa-fw fa-user"></i> <br />关于
          </a>
        </li>
      
      <li class="menu-item menu-item-search">
        <a href="javascript:;" class="popup-trigger"> <i class="menu-item-icon fa fa-search fa-fw"></i> <br /> 搜索</a>
      </li>
    </ul>
    <div class="site-search">
      <div class="popup">
 <span class="search-icon fa fa-search"></span>
 <input type="text" id="local-search-input">
 <div id="local-search-result"></div>
 <span class="popup-btn-close">close</span>
</div>

    </div>
</nav>

 </div>
    </header>

    <main id="main" class="main">
      <div class="main-inner">
        <div class="content-wrap">
          <div id="content" class="content">
            
<section id="posts" class="posts-expand">
  <article class="post post-type-normal " itemscope itemtype="http://schema.org/Article">
    <header class="post-header">
      <h1 class="post-title" itemprop="name headline">
        <a class="post-title-link" href="http://www.shutdown.cn/post/redis%E5%94%AF%E5%BF%AB%E4%B8%8D%E7%A0%B4%E7%9A%84%E7%A7%98%E5%AF%86/" itemprop="url">
        
        </a>
      </h1>
      <div class="post-meta">
      <span class="post-time">
<span class="post-meta-item-icon">
    <i class="fa fa-calendar-o"></i>
</span>
<span class="post-meta-item-text">时间：</span>
<time itemprop="dateCreated" datetime="2016-03-22T13:04:35+08:00" content="0001-01-01">
    0001-01-01
</time>
</span> 
      
      
       <span>
&nbsp; | &nbsp;
<span class="post-meta-item-icon">
    <i class="fa fa-eye"></i>
</span>
<span class="post-meta-item-text">阅读：</span>
<span class="leancloud-visitors-count">804 字 ~4分钟</span>
</span>
      </div>
    </header>
    <div class="post-body" itemprop="articleBody">
    

    

<blockquote>
<p>“</p>

<p>天下武功，无坚不摧，唯快不破！</p>

<p>”</p>
</blockquote>

<p>以下文章来源于码哥字节 ，作者MageByte技术团队  **
**</p>

<p><strong>学习一个技术，通常只接触了零散的技术点，没有在脑海里建立一个完整的知识框架和架构体系，没有系统观。这样会很吃力，而且会出现一看好像自己会，过后就忘记，一脸懵逼。</strong></p>

<p>跟着「码哥字节」一起吃透 Redis，深层次的掌握 Redis 核心原理以及实战技巧。一起搭建一套完整的知识框架，学会全局观去整理整个知识体系。</p>

<p>系统观其实是至关重要的，从某种程度上说，在解决问题时，拥有了系统观，就意味着你能有依据、有章法地定位和解决问题。</p>

<h2 id="redis-全景图">Redis 全景图</h2>

<p>全景图可以围绕两个维度展开，分别是：</p>

<p><strong>应用维度：缓存使用、集群运用、数据结构的巧妙使用</strong></p>

<p><strong>系统维度：可以归类为三高</strong></p>

<ol>
<li>高性能：线程模型、网络 IO 模型、数据结构、持久化机制；</li>
<li>高可用：主从复制、哨兵集群、Cluster 分片集群；</li>
<li>高拓展：负载均衡</li>
</ol>

<p><strong>Redis 系列篇章</strong>围绕如下思维导图展开，这次从 <strong>《Redis 唯快不破的秘密》一起探索 Redis 的核心知识点。</strong></p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/884DD31C901B46679DB419B14D90C3E7.jpg" alt="img" />吃透Redis</p>

<h2 id="唯快不破的秘密">唯快不破的秘密</h2>

<p>65 哥前段时间去面试 996 大厂，被问到「Redis 为什么快？」</p>

<blockquote>
<p>“</p>

<p>65 哥：额，因为它是基于内存实现和单线程模型</p>

<p>”</p>
</blockquote>

<p>面试官：还有呢？</p>

<blockquote>
<p>“</p>

<p>65 哥：没了呀。</p>

<p>”</p>
</blockquote>

<p>很多人仅仅只是知道基于内存实现，其他核心的原因模凌两可。今日跟着「码哥字节」一起探索真正快的原因，做一个唯快不破的真男人！</p>

<p>Redis 为了高性能，从各方各面都进行了优化，下次小伙伴们面试的时候，面试官问 Redis 性能为什么如此高，可不能傻傻的只说单线程和内存存储了。</p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/005460DAB175067B24DF5B56B337882A.jpg" alt="img" />唯快不破的秘密</p>

<p>根据官方数据，Redis 的 QPS 可以达到约 100000（每秒请求数），有兴趣的可以参考官方的基准程序测试《How fast is Redis？》，地址：<a href="https://redis.io/topics/benchmarks">https://redis.io/topics/benchmarks</a></p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/AB040917B944CAC42DED09C392D24D2E.jpg" alt="img" />基准测试</p>

<p>横轴是连接数，纵轴是 QPS。此时，这张图反映了一个数量级，希望大家在面试的时候可以正确的描述出来，不要问你的时候，你回答的数量级相差甚远！</p>

<h2 id="完全基于内存实现">完全基于内存实现</h2>

<blockquote>
<p>“</p>

<p>65 哥：这个我知道，Redis 是基于内存的数据库，跟磁盘数据库相比，完全吊打磁盘的速度，就像段誉的凌波微步。对于磁盘数据库来说，首先要将数据通过 IO 操作读取到内存里。</p>

<p>”</p>
</blockquote>

<p>没错，不论读写操作都是在内存上完成的，我们分别对比下内存操作与磁盘操作的差异。</p>

<p><strong>磁盘调用栈图</strong></p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/B9BAEAA19CC43F1D6DC4086D79136FF2.jpg" alt="img" /></p>

<p><strong>内存操作</strong></p>

<p>内存直接由 CPU 控制，也就是 CPU 内部集成的内存控制器，所以说内存是直接与 CPU 对接，享受与 CPU 通信的最优带宽。</p>

<p><strong>Redis 将数据存储在内存中，读写操作不会因为磁盘的 IO 速度限制，所以速度飞一般的感觉！</strong></p>

<p>最后以一张图量化系统的各种延时时间（部分数据引用 Brendan Gregg）</p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/FC44E1099C75010C1D861D27E6085478.jpg" alt="img" /></p>

<h2 id="高效的数据结构">高效的数据结构</h2>

<blockquote>
<p>“</p>

<p>65 哥：学习 MySQL 的时候我知道为了提高检索速度使用了 B+ Tree 数据结构，所以 Redis 速度快应该也跟数据结构有关。</p>

<p>”</p>
</blockquote>

<p>回答正确，这里所说的数据结构并不是 Redis 提供给我们使用的 5 种数据类型：String、List、Hash、Set、SortedSet。</p>

<p>在 Redis 中，常用的 5 种数据类型和应用场景如下：</p>

<ul>
<li><strong>String：</strong> 缓存、计数器、分布式锁等。</li>
<li><strong>List：</strong> 链表、队列、微博关注人时间轴列表等。</li>
<li><strong>Hash：</strong> 用户信息、Hash 表等。</li>
<li><strong>Set：</strong> 去重、赞、踩、共同好友等。</li>
<li><strong>Zset：</strong> 访问量排行榜、点击量排行榜等。</li>
</ul>

<p>上面的应该叫做 Redis 支持的数据类型，也就是数据的保存形式。「码哥字节」要说的是针对这 5 种数据类型，底层都运用了哪些高效的数据结构来支持。</p>

<blockquote>
<p>“</p>

<p>65 哥：为啥搞这么多数据结构呢？</p>

<p>”</p>
</blockquote>

<p>当然是为了追求速度，不同数据类型使用不同的数据结构速度才得以提升。每种数据类型都有一种或者多种数据结构来支撑，底层数据结构有 6 种。</p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/4C6C381B5DB7376E6D5CF11D1C4F81C9.jpg" alt="img" /></p>

<h3 id="redis-hash-字典">Redis hash 字典</h3>

<p>Redis 整体就是一个 哈希表来保存所有的键值对，无论数据类型是 5 种的任意一种。哈希表，本质就是一个数组，每个元素被叫做哈希桶，不管什么数据类型，每个桶里面的 entry 保存着实际具体值的指针。</p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/66AEF5F298957A39508FC88E82E31ABF.jpg" alt="img" />Redis 全局哈希表</p>

<p>整个数据库就是一个<strong>全局哈希表</strong>，而哈希表的时间复杂度是 O(1)，只需要计算每个键的哈希值，便知道对应的哈希桶位置，定位桶里面的 entry 找到对应数据，这个也是 Redis 快的原因之一。</p>

<p><strong>那 Hash 冲突怎么办？</strong></p>

<p>当写入 Redis 的数据越来越多的时候，哈希冲突不可避免，会出现不同的 key 计算出一样的哈希值。</p>

<p>Redis 通过<strong>链式哈希</strong>解决冲突：<strong>也就是同一个 桶里面的元素使用链表保存</strong>。但是当链表过长就会导致查找性能变差可能，所以 Redis 为了追求快，使用了两个全局哈希表。用于 rehash 操作，增加现有的哈希桶数量，减少哈希冲突。</p>

<p>开始默认使用 hash 表 1 保存键值对数据，哈希表 2 此刻没有分配空间。当数据越来多触发 rehash 操作，则执行以下操作：</p>

<ol>
<li>给 hash 表 2 分配更大的空间；</li>
<li>将 hash 表 1 的数据重新映射拷贝到 hash 表 2 中；</li>
<li>释放 hash 表 1 的空间。</li>
</ol>

<p><strong>值得注意的是，将 hash 表 1 的数据重新映射到 hash 表 2 的过程中并不是一次性的，这样会造成 Redis 阻塞，无法提供服务。</strong></p>

<p>而是采用了<strong>渐进式 rehash</strong>，每次处理客户端请求的时候，先从 hash 表 1 中第一个索引开始，将这个位置的 所有数据拷贝到 hash 表 2 中，就这样将 rehash 分散到多次请求过程中，避免耗时阻塞。</p>

<h3 id="sds-简单动态字符">SDS 简单动态字符</h3>

<blockquote>
<p>“</p>

<p>65 哥：Redis 是用 C 语言实现的，为啥还重新搞一个 SDS 动态字符串呢？</p>

<p>”</p>
</blockquote>

<p>字符串结构使用最广泛，通常我们用于缓存登陆后的用户信息，key = userId，value = 用户信息 JSON 序列化成字符串。</p>

<p>C 语言中字符串的获取 「MageByte」的长度，要从头开始遍历，直到 「\0」为止，Redis 作为唯快不破的男人是不能忍受的。</p>

<p>C 语言字符串结构与 SDS 字符串结构对比图如下所示：</p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/52F6353DB22670C6CE6B4766678459E6.jpg" alt="img" />C 语言字符串与 SDS</p>

<h4 id="sds-与-c-字符串区别">SDS 与 C 字符串区别</h4>

<p><strong>O(1) 时间复杂度获取字符串长度</strong></p>

<p>C 语言字符串布吉路长度信息，需要遍历整个字符串时间复杂度为 O(n)，C 字符串遍历时遇到 &lsquo;\0&rsquo; 时结束。</p>

<p>SDS 中 len 保存这字符串的长度，O(1) 时间复杂度。</p>

<p><strong>空间预分配</strong></p>

<p>SDS 被修改后，程序不仅会为 SDS 分配所需要的必须空间，还会分配额外的未使用空间。</p>

<p>分配规则如下：如果对 SDS 修改后，len 的长度小于 1M，那么程序将分配和 len 相同长度的未使用空间。举个例子，如果 len=10，重新分配后，buf 的实际长度会变为 10(已使用空间)+10(额外空间)+1(空字符)=21。如果对 SDS 修改后 len 长度大于 1M，那么程序将分配 1M 的未使用空间。</p>

<p><strong>惰性空间释放</strong></p>

<p>当对 SDS 进行缩短操作时，程序并不会回收多余的内存空间，而是使用 free 字段将这些字节数量记录下来不释放，后面如果需要 append 操作，则直接使用 free 中未使用的空间，减少了内存的分配。</p>

<p><strong>二进制安全</strong></p>

<p>在 Redis 中不仅可以存储 String 类型的数据，也可能存储一些二进制数据。</p>

<p>二进制数据并不是规则的字符串格式，其中会包含一些特殊的字符如 &lsquo;\0&rsquo;，在 C 中遇到 &lsquo;\0&rsquo; 则表示字符串的结束，但在 SDS 中，标志字符串结束的是 len 属性。</p>

<h3 id="ziplist-压缩列表">zipList 压缩列表</h3>

<p>压缩列表是 List 、hash、 sorted Set 三种数据类型底层实现之一。</p>

<p>当一个列表只有少量数据的时候，并且每个列表项要么就是小整数值，要么就是长度比较短的字符串，那么 Redis 就会使用压缩列表来做列表键的底层实现。</p>

<p>ziplist 是由一系列特殊编码的连续内存块组成的顺序型的数据结构，ziplist 中可以包含多个 entry 节点，每个节点可以存放整数或者字符串。</p>

<p>ziplist 在表头有三个字段 zlbytes、zltail 和 zllen，分别表示列表占用字节数、列表尾的偏移量和列表中的 entry 个数；压缩列表在表尾还有一个 zlend，表示列表结束。</p>
<div class="highlight"><pre style="background-color:#f8f8f8;-moz-tab-size:4;-o-tab-size:4;tab-size:4"><code class="language-fallback" data-lang="fallback">struct ziplist&lt;T&gt; {
    int32 zlbytes; // 整个压缩列表占用字节数
    int32 zltail_offset; // 最后一个元素距离压缩列表起始位置的偏移量，用于快速定位到最后一个节点
    int16 zllength; // 元素个数
    T[] entries; // 元素内容列表，挨个挨个紧凑存储
    int8 zlend; // 标志压缩列表的结束，值恒为 0xFF
}</code></pre></div>
<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/EB0E7D3BC8EAB883D24890E044095703.jpg" alt="img" />ziplist</p>

<p>如果我们要查找定位第一个元素和最后一个元素，可以通过表头三个字段的长度直接定位，复杂度是 O(1)。而查找其他元素时，就没有这么高效了，只能逐个查找，此时的复杂度就是 O(N)</p>

<h3 id="双端列表">双端列表</h3>

<p>Redis List 数据类型通常被用于队列、微博关注人时间轴列表等场景。不管是先进先出的队列，还是先进后出的栈，双端列表都很好的支持这些特性。</p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/CB778E99FDC9515C0F39F660283797B4.jpg" alt="img" /></p>

<p>Redis 的链表实现的特性可以总结如下：</p>

<ul>
<li>双端：链表节点带有 prev 和 next 指针，获取某个节点的前置节点和后置节点的复杂度都是 O（1）。</li>
<li>无环：表头节点的 prev 指针和表尾节点的 next 指针都指向 NULL，对链表的访问以 NULL 为终点。</li>
<li>带表头指针和表尾指针：通过 list 结构的 head 指针和 tail 指针，程序获取链表的表头节点和表尾节点的复杂度为 O（1）。</li>
<li>带链表长度计数器：程序使用 list 结构的 len 属性来对 list 持有的链表节点进行计数，程序获取链表中节点数量的复杂度为 O（1）。</li>
<li>多态：链表节点使用 void* 指针来保存节点值，并且可以通过 list 结构的 dup、free、match 三个属性为节点值设置类型特定函数，所以链表可以用于保存各种不同类型的值。</li>
</ul>

<p>后续版本对列表数据结构进行了改造，使用 quicklist 代替了 ziplist 和 linkedlist。</p>

<p><strong>quicklist 是 ziplist 和 linkedlist 的混合体，它将 linkedlist 按段切分，每一段使用 ziplist 来紧凑存储，多个 ziplist 之间使用双向指针串接起来。</strong></p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/05DDBAABBE9C1A4EE6B067C11596650A.jpg" alt="img" /></p>

<p>这也是为何 Redis 快的原因，不放过任何一个可以提升性能的细节。</p>

<h3 id="skiplist-跳跃表">skipList 跳跃表</h3>

<p>sorted set 类型的排序功能便是通过「跳跃列表」数据结构来实现。</p>

<p>跳跃表（skiplist）是一种有序数据结构，它通过在每个节点中维持多个指向其他节点的指针，从而达到快速访问节点的目的。</p>

<p>跳跃表支持平均 O（logN）、最坏 O（N）复杂度的节点查找，还可以通过顺序性操作来批量处理节点。</p>

<p>跳表在链表的基础上，增加了多层级索引，通过索引位置的几个跳转，实现数据的快速定位，如下图所示：</p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/5BAC25955D90099F54CB81BEC940E3FD.jpg" alt="img" />跳跃表</p>

<p>当需要查找 40 这个元素需要经历 三次查找。</p>

<h3 id="整数数组-intset">整数数组（intset）</h3>

<p>当一个集合只包含整数值元素，并且这个集合的元素数量不多时，Redis 就会使用整数集合作为集合键的底层实现。结构如下：</p>
<div class="highlight"><pre style="background-color:#f8f8f8;-moz-tab-size:4;-o-tab-size:4;tab-size:4"><code class="language-fallback" data-lang="fallback">typedef struct intset{
     //编码方式
     uint32_t encoding;
     //集合包含的元素数量
     uint32_t length;
     //保存元素的数组
     int8_t contents[];
}intset;</code></pre></div>
<p>contents 数组是整数集合的底层实现：整数集合的每个元素都是 contents 数组的一个数组项（item），各个项在数组中按值的大小从小到大有序地排列，并且数组中不包含任何重复项。length 属性记录了整数集合包含的元素数量，也即是 contents 数组的长度。</p>

<h3 id="合理的数据编码">合理的数据编码</h3>

<p>Redis 使用对象（redisObject）来表示数据库中的键值，当我们在 Redis 中创建一个键值对时，至少创建两个对象，一个对象是用做键值对的键对象，另一个是键值对的值对象。</p>

<p>例如我们执行 SET MSG XXX 时，键值对的键是一个包含了字符串“MSG“的对象，键值对的值对象是包含字符串&rdquo;XXX&rdquo;的对象。</p>

<p><strong>redisObject</strong></p>
<div class="highlight"><pre style="background-color:#f8f8f8;-moz-tab-size:4;-o-tab-size:4;tab-size:4"><code class="language-fallback" data-lang="fallback">typedef struct redisObject{
    //类型
   unsigned type:4;
   //编码
   unsigned encoding:4;
   //指向底层数据结构的指针
   void *ptr;
    //...
 }robj;</code></pre></div>
<p>其中 type 字段记录了对象的类型，包含字符串对象、列表对象、哈希对象、集合对象、有序集合对象。</p>

<p>对于每一种数据类型来说，底层的支持可能是多种数据结构，什么时候使用哪种数据结构，这就涉及到了编码转化的问题。</p>

<p>那我们就来看看，不同的数据类型是如何进行编码转化的：</p>

<p><strong>String</strong>：存储数字的话，采用 int 类型的编码，如果是非数字的话，采用 raw 编码；</p>

<p><strong>List</strong>：List 对象的编码可以是 ziplist 或 linkedlist，字符串长度 &lt; 64 字节且元素个数 &lt; 512 使用 ziplist 编码，否则转化为 linkedlist 编码；</p>

<p>注意：这两个条件是可以修改的，在 redis.conf 中：</p>
<div class="highlight"><pre style="background-color:#f8f8f8;-moz-tab-size:4;-o-tab-size:4;tab-size:4"><code class="language-fallback" data-lang="fallback">list-max-ziplist-entries 512
list-max-ziplist-value 64</code></pre></div>
<p><strong>Hash</strong>：Hash 对象的编码可以是 ziplist 或 hashtable。</p>

<p>当 Hash 对象同时满足以下两个条件时，Hash 对象采用 ziplist 编码：</p>

<ul>
<li><strong>Hash 对象保存的所有键值对的键和值的字符串长度均小于 64 字节。</strong></li>
<li><strong>Hash 对象保存的键值对数量小于 512 个。</strong></li>
</ul>

<p>否则就是 hashtable 编码。</p>

<p><strong>Set</strong>：Set 对象的编码可以是 intset 或 hashtable，intset 编码的对象使用整数集合作为底层实现，把所有元素都保存在一个整数集合里面。</p>

<p>保存元素为整数且元素个数小于一定范围使用 intset 编码，任意条件不满足，则使用 hashtable 编码；</p>

<p><strong>Zset</strong>：Zset 对象的编码可以是 ziplist 或 zkiplist，当采用 ziplist 编码存储时，每个集合元素使用两个紧挨在一起的压缩列表来存储。</p>

<p>Ziplist 压缩列表第一个节点存储元素的成员，第二个节点存储元素的分值，并且按分值大小从小到大有序排列。</p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/94A0CFFCE6D8406553DF4CD004482462.jpg" alt="img" /></p>

<p>当 Zset 对象同时满足一下两个条件时，采用 ziplist 编码：</p>

<ul>
<li><strong>Zset 保存的元素个数小于 128。</strong></li>
<li><strong>Zset 元素的成员长度都小于 64 字节。</strong></li>
</ul>

<p>如果不满足以上条件的任意一个，ziplist 就会转化为 zkiplist 编码。注意：这两个条件是可以修改的，在 redis.conf 中：</p>
<div class="highlight"><pre style="background-color:#f8f8f8;-moz-tab-size:4;-o-tab-size:4;tab-size:4"><code class="language-fallback" data-lang="fallback">zset-max-ziplist-entries 128
zset-max-ziplist-value 64</code></pre></div>
<h2 id="单线程模型">单线程模型</h2>

<blockquote>
<p>“</p>

<p>65 哥：为什么 Redis 是单线程的而不用多线程并行执行充分利用 CPU 呢？</p>

<p>”</p>
</blockquote>

<p><strong>我们要明确的是：Redis 的单线程指的是 Redis 的网络 IO 以及键值对指令读写是由一个线程来执行的。</strong> 对于 Redis 的持久化、集群数据同步、异步删除等都是其他线程执行。</p>

<p>至于为啥用单线程，我们先了解多线程有什么缺点。</p>

<h3 id="多线程的弊端">多线程的弊端</h3>

<p>使用多线程，通常可以增加系统吞吐量，充分利用 CPU 资源。</p>

<p>但是，使用多线程后，没有良好的系统设计，可能会出现如下图所示的场景，增加了线程数量，前期吞吐量会增加，再进一步新增线程的时候，系统吞吐量几乎不再新增，甚至会下降！</p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/9FB131A9E9E83DC9B92B278E7EE8B61C.jpg" alt="img" />线程数与吞吐量</p>

<p>在运行每个任务之前，CPU 需要知道任务在何处加载并开始运行。也就是说，系统需要帮助它预先设置 CPU 寄存器和程序计数器，这称为 CPU 上下文。</p>

<p>这些保存的上下文存储在系统内核中，并在重新计划任务时再次加载。这样，任务的原始状态将不会受到影响，并且该任务将看起来正在连续运行。</p>

<p><strong>切换上下文时，我们需要完成一系列工作，这是非常消耗资源的操作。</strong></p>

<p>另外，当多线程并行修改共享数据的时候，为了保证数据正确，需要加锁机制就会带来额外的性能开销，面临的共享资源的并发访问控制问题。</p>

<p>引入多线程开发，就需要使用同步原语来保护共享资源的并发读写，增加代码复杂度和调试难度。</p>

<h3 id="单线程又什么好处">单线程又什么好处？</h3>

<ol>
<li>不会因为线程创建导致的性能消耗；</li>
<li>避免上下文切换引起的 CPU 消耗，没有多线程切换的开销；</li>
<li>避免了线程之间的竞争问题，比如添加锁、释放锁、死锁等，不需要考虑各种锁问题。</li>
<li>代码更清晰，处理逻辑简单。</li>
</ol>

<p><strong>单线程是否没有充分利用 CPU 资源呢？</strong></p>

<p>官方答案：因为 Redis 是基于内存的操作，CPU 不是 Redis 的瓶颈，Redis 的瓶颈最<strong>有可能是机器内存的大小或者网络带宽</strong>。既然单线程容易实现，而且 CPU 不会成为瓶颈，那就顺理成章地采用单线程的方案了。原文地址：<a href="https://redis.io/topics/faq。">https://redis.io/topics/faq。</a></p>

<h2 id="i-o-多路复用模型">I/O 多路复用模型</h2>

<p>Redis 采用 I/O 多路复用技术，并发处理连接。采用了 epoll + 自己实现的简单的事件框架。epoll 中的读、写、关闭、连接都转化成了事件，然后利用 epoll 的多路复用特性，绝不在 IO 上浪费一点时间。</p>

<blockquote>
<p>“</p>

<p>65 哥：那什么是 I/O 多路复用呢？</p>

<p>”</p>
</blockquote>

<p>在解释 IO 多虑复用之前我们先了解下基本 IO 操作会经历什么。</p>

<p><strong>基本 IO 模型</strong></p>

<p>一个基本的网络 IO 模型，当处理 get 请求，会经历以下过程：</p>

<ol>
<li>和客户端建立建立 <code>accept</code>;</li>
<li>从 socket 种读取请求 <code>recv</code>;</li>
<li>解析客户端发送的请求 <code>parse</code>;</li>
<li>执行 <code>get</code> 指令；</li>
<li>响应客户端数据，也就是 向 socket 写回数据。</li>
</ol>

<p>其中，bind/listen、accept、recv、parse 和 send 属于网络 IO 处理，而 get 属于键值数据操作。既然 Redis 是单线程，那么，最基本的一种实现是在一个线程中依次执行上面说的这些操作。</p>

<p>关键点就是 <strong>accept 和 recv 会出现阻塞</strong>，当 Redis 监听到一个客户端有连接请求，但一直未能成功建立起连接时，会阻塞在 accept() 函数这里，导致其他客户端无法和 Redis 建立连接。</p>

<p>类似的，当 Redis 通过 recv() 从一个客户端读取数据时，如果数据一直没有到达，Redis 也会一直阻塞在 recv()。</p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/7F2EA5CCE151153F98F99F632317E228.jpg" alt="img" /></p>

<p>阻塞的原因由于使用传统阻塞 IO ，也就是在执行 read、accept 、recv 等网络操作会一直阻塞等待。如下图所示：</p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/96B2C43D00A5D68C2B0FFD051161AA28.jpg" alt="img" />阻塞IO</p>

<p><strong>IO 多路复用</strong></p>

<p><strong>多路</strong>指的是多个 socket 连接，<strong>复用</strong>指的是复用一个线程。多路复用主要有三种技术：select，poll，epoll。epoll 是最新的也是目前最好的多路复用技术。</p>

<p><strong>它的基本原理是，内核不是监视应用程序本身的连接，而是监视应用程序的文件描述符。</strong></p>

<p>当客户端运行时，它将生成具有不同事件类型的套接字。在服务器端，I / O 多路复用程序（I / O 多路复用模块）会将消息放入队列（也就是 下图的 I/O 多路复用程序的 socket 队列），然后通过文件事件分派器将其转发到不同的事件处理器。</p>

<p>简单来说：Redis 单线程情况下，内核会一直监听 socket 上的连接请求或者数据请求，一旦有请求到达就交给 Redis 线程处理，这就实现了一个 Redis 线程处理多个 IO 流的效果。</p>

<p>select/epoll 提供了基于事件的回调机制，即针对不同事件的发生，调用相应的事件处理器。所以 Redis 一直在处理事件，提升 Redis 的响应性能。</p>

<p><img src="https://image.z.itpub.net/zitpub.net/JPG/2021-12-17/9EB2FA7C03C8BAF892CF86D6D2CB65BD.jpg" alt="img" />高性能 IO 多路复用</p>

<p>Redis 线程不会阻塞在某一个特定的监听或已连接套接字上，也就是说，不会阻塞在某一个特定的客户端请求处理上。正因为此，Redis 可以同时和多个客户端连接并处理请求，从而提升并发性。</p>

<h2 id="唯快不破的原理总结">唯快不破的原理总结</h2>

<blockquote>
<p>“</p>

<p>65 哥：学完之后我终于知道 Redis 为何快的本质原因了，「码哥」你别说话，我来总结！一会我再点赞和分享这篇文章，让更多人知道 Redis 快的核心原理。</p>

<p>”</p>
</blockquote>

<ol>
<li>纯内存操作，一般都是简单的存取操作，线程占用的时间很多，时间的花费主要集中在 IO 上，所以读取速度快。</li>
<li>整个 Redis 就是一个全局 哈希表，他的时间复杂度是 O(1)，而且为了防止哈希冲突导致链表过长，Redis 会执行 rehash 操作，扩充 哈希桶数量，减少哈希冲突。并且防止一次性 重新映射数据过大导致线程阻塞，采用 渐进式 rehash。巧妙的将一次性拷贝分摊到多次请求过程后总，避免阻塞。</li>
<li>Redis 使用的是非阻塞 IO：IO 多路复用，使用了单线程来轮询描述符，将数据库的开、关、读、写都转换成了事件，Redis 采用自己实现的事件分离器，效率比较高。</li>
<li>采用单线程模型，保证了每个操作的原子性，也减少了线程的上下文切换和竞争。</li>
<li>Redis 全程使用 hash 结构，读取速度快，还有一些特殊的数据结构，对数据存储进行了优化，如压缩表，对短数据进行压缩存储，再如，跳表，使用有序的数据结构加快读取的速度。</li>
<li>根据实际存储的数据类型选择不同编码</li>
</ol>

    </div>
    <footer class="post-footer">
     

     <div class="post-nav">
    <div class="post-nav-next post-nav-item">
    
        <a href="http://www.shutdown.cn/post/redis%E5%92%8Cio%E5%A4%9A%E8%B7%AF%E5%A4%8D%E7%94%A8/" rel="next" title="">
        <i class="fa fa-chevron-left"></i> 
        </a>
    
    </div>

    <div class="post-nav-prev post-nav-item">
    
        <a href="http://www.shutdown.cn/post/redis%E5%9D%91/" rel="prev" title="">
         <i class="fa fa-chevron-right"></i>
        </a>
    
    </div>
</div>
      
     
     
     






    </footer>
  </article>
</section>

          </div>
        </div>
        <div class="sidebar-toggle">
  <div class="sidebar-toggle-line-wrap">
    <span class="sidebar-toggle-line sidebar-toggle-line-first"></span>
    <span class="sidebar-toggle-line sidebar-toggle-line-middle"></span>
    <span class="sidebar-toggle-line sidebar-toggle-line-last"></span>
  </div>
</div>
<aside id="sidebar" class="sidebar">
  <div class="sidebar-inner">

    <section class="site-overview sidebar-panel  sidebar-panel-active ">
      <div class="site-author motion-element" itemprop="author" itemscope itemtype="http://schema.org/Person">
    <img class="site-author-image" itemprop="image"
        src="http://www.shutdown.cn/img/author.jpg"
        alt="不与天斗Domino" />
    <p class="site-author-name" itemprop="name">不与天斗Domino</p>
    <p class="site-description motion-element" itemprop="description"> 
        Programmer &amp; Architect</p>
</div>
      <nav class="site-state motion-element">
    <div class="site-state-item site-state-posts">
      <a href="http://www.shutdown.cn/post/">
        <span class="site-state-item-count">183</span>
        <span class="site-state-item-name">日志</span>
      </a>
    </div>
    <div class="site-state-item site-state-categories">    
        <a href="http://www.shutdown.cn/categories/">      
         
        <span class="site-state-item-count">15</span>
        
        <span class="site-state-item-name">分类</span>
        
        </a>
    </div>

    <div class="site-state-item site-state-tags">
        <a href="http://www.shutdown.cn/tags/">
         
        <span class="site-state-item-count">224</span>
        
        <span class="site-state-item-name">标签</span>
        </a>
    </div>
</nav>
      
      

      

      <div class="links-of-blogroll motion-element inline">
<script type="text/javascript" src="//rf.revolvermaps.com/0/0/8.js?i=&amp;m=0&amp;s=220&amp;c=ff0000&amp;cr1=ffffff&amp;f=arial&amp;l=33&amp;bv=35" async="async"></script>
</div>

    </section>
    
  </div>
</aside>

      </div>
    </main>
   
    <footer id="footer" class="footer">
      <div class="footer-inner">
        <div class="copyright" >
  <span itemprop="copyrightYear">  &copy; 
  2013 - 2023</span>
  <span class="with-love"><i class="fa fa-heart"></i></span>
  <span class="author" itemprop="copyrightHolder">天地维杰网</span>
  <span class="icp" itemprop="copyrightHolder"><a href="https://beian.miit.gov.cn/" target="_blank">京ICP备13019191号-1</a></span>
</div>
<div class="powered-by">
  Powered by - <a class="theme-link" href="http://gohugo.io" target="_blank" title="hugo" >Hugo v0.63.2</a>
</div>
<div class="theme-info">
  Theme by - <a class="theme-link" href="https://github.com/xtfly/hugo-theme-next" target="_blank"> NexT
  </a>
</div>


      </div>
    </footer>

    <div class="back-to-top">
      <i class="fa fa-arrow-up"></i>
      <span id="scrollpercent"><span>0</span>%</span>
    </div>
  </div>

  

<script type="text/javascript">
  if (Object.prototype.toString.call(window.Promise) !== '[object Function]') {
    window.Promise = null;
  }
</script>
<script type="text/javascript" src="http://www.shutdown.cn/js/vendor/jquery/index.js?v=2.1.3"></script>
<script type="text/javascript" src="http://www.shutdown.cn/js/vendor/fastclick/lib/fastclick.min.js?v=1.0.6"></script> 
<script type="text/javascript" src="http://www.shutdown.cn/js/vendor/jquery_lazyload/jquery.lazyload.js?v=1.9.7"></script>
<script type="text/javascript" src="http://www.shutdown.cn/js/vendor/velocity/velocity.min.js?v=1.2.1"></script>
<script type="text/javascript" src="http://www.shutdown.cn/js/vendor/velocity/velocity.ui.min.js?v=1.2.1"></script>
<script src="http://www.shutdown.cn/js/vendor/ua-parser-js/dist/ua-parser.min.js?v=0.7.9"></script>

<script src="http://www.shutdown.cn/js/vendor/fancybox/jquery.fancybox.pack.js?v=2.1.5"></script>

<script type="text/javascript" src="http://www.shutdown.cn/js/utils.js"></script>
<script type="text/javascript" src="http://www.shutdown.cn/js/motion.js"></script>
<script type="text/javascript" src="http://www.shutdown.cn/js/affix.js"></script>
<script type="text/javascript" src="http://www.shutdown.cn/js/schemes/pisces.js"></script>

<script type="text/javascript" src="http://www.shutdown.cn/js/scrollspy.js"></script>
<script type="text/javascript" src="http://www.shutdown.cn/js/post-details.js"></script>
<script type="text/javascript" src="http://www.shutdown.cn/js/toc.js"></script>

<script type="text/javascript" src="http://www.shutdown.cn/js/bootstrap.js"></script>

<script type="text/javascript" src="http://www.shutdown.cn/js/search.js"></script>
<script type="text/x-mathjax-config">
  MathJax.Hub.Config({
    extensions: ["tex2jax.js"],
    jax: ["input/TeX", "output/HTML-CSS"],
    tex2jax: {
      inlineMath: [ ['$','$'] ],
      displayMath: [ ['$$','$$'] ],
      processEscapes: true
    },
    "HTML-CSS": { fonts: ["TeX"] }
  });
</script>
<script src='https://cdnjs.cloudflare.com/ajax/libs/mathjax/2.7.5/MathJax.js?config=TeX-AMS-MML_HTMLorMML' async></script>
</body>
</html>